The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

We explore the capability of plain Vision Transformers (ViTs) for semantic segmentation and propose the SegVit. Previous ViT-based segmentation networks usually learn a pixel-level representation from the output of the ViT. Differently, we make use of the fundamental component -- attention mechanism, to generate masks for semantic segmentation. Specifically, we propose the Attention-to-Mask (ATM) module, in which the similarity maps between a set of learnable class tokens and the spatial feature maps are transferred to the segmentation masks. Experiments show that our proposed SegVit using the ATM module outperforms its counterparts using the plain ViT backbone on the ADE20K dataset and achieves new state-of-the-art performance on COCO-Stuff-10K and PASCAL-Context datasets. Furthermore, to reduce the computational cost of the ViT backbone, we propose query-based down-sampling (QD) and query-based up-sampling (QU) to build a Shrunk structure. With the proposed Shrunk structure, the model can save up to $40\%$ computations while maintaining competitive performance.

在许多行业中，客户流失预测是一项宝贵的任务。在电信中，鉴于数据的高维度以及确定潜在的挫败感签名是多么困难，这可能代表了关于未来流失行为的重要驱动因素。在这里，我们提出了一个新颖的贝叶斯分层联合模型，该模型能够根据不同电视观看旅程中发生的事件以及事件之间需要多长时间来表征客户资料。该模型大幅度地将数据的维度从每个客户的数千个观察值降低到11个客户级参数估计和随机效果。我们使用来自40个BT客户（有20名活跃和20名最终取消订阅的20人）的数据测试我们的方法，他们的电视观看行为是从2019年10月到2019年12月的，总计约为半百万。使用贝叶斯分层模型的参数估计和随机效应采用不同的机器学习技术，作为在验证中与100 \％真实的正率和14 \％的假正率相关的最高92 \％精度可预测流失的精度放。我们提出的方法是降低数据维度的有效方法，同时保持了高描述性和预测能力。我们提供代码以在https://github.com/rafamoral/profiling_tv_watching_behaviour上实现贝叶斯模型。

对象检测是各种关键计算机视觉任务的基础，例如分割，对象跟踪和事件检测。要以令人满意的精度训练对象探测器，需要大量数据。但是，由于注释大型数据集涉及大量劳动力，这种数据策展任务通常被外包给第三方或依靠志愿者。这项工作揭示了此类数据策展管道的严重脆弱性。我们提出MACAB，即使数据策展人可以手动审核图像，也可以将干净的图像制作清洁的图像将后门浸入对象探测器中。我们观察到，当后门被不明确的天然物理触发器激活时，在野外实现了错误分类和披肩的后门效应。与带有清洁标签的现有图像分类任务相比，带有清洁通道的非分类对象检测具有挑战性，这是由于每个帧内有多个对象的复杂性，包括受害者和非视野性对象。通过建设性地滥用深度学习框架使用的图像尺度函数，II结合了所提出的对抗性清洁图像复制技术，以及在考虑到毒品数据选择标准的情况下，通过建设性地滥用图像尺度尺度，可以确保MACAB的功效。广泛的实验表明，在各种现实世界中，MacAB在90％的攻击成功率中表现出超过90％的攻击成功率。这包括披肩和错误分类后门效应，甚至限制了较小的攻击预算。最先进的检测技术无法有效地识别中毒样品。全面的视频演示位于https://youtu.be/ma7l_lpxkp4上，该演示基于yolov4倒置的毒药率为0.14％，yolov4 clokaking后门和更快的速度R-CNN错误分类后门。

当使用深度学习技术对程序语言进行建模时，广泛采用了带有树或图形结构的神经网络，以捕获程序抽象语法树（AST）中的丰富结构信息。但是，计划中广泛存在长期/全球依赖性，大多数这些神经体系结构无法捕获这些依赖性。在本文中，我们提出了Tree-Transformer，这是一种新型的递归树结构神经网络，旨在克服上述局限性。树转化器利用两个多头注意单元来建模兄弟姐妹和父子节点对之间的依赖关系。此外，我们提出了一个双向传播策略，以允许节点信息向两个方向传递：沿树木的自下而上和自上而下。通过结合自下而上和自上而下的传播，树转化器可以同时学习全局上下文和有意义的节点特征。广泛的实验结果表明，我们的树转换器在具有树级和节点级别的预测任务中，在与程序相关的任务中优于现有基于树或基于图的神经网络，这表明Tree-Transformer在学习两个树级时都表现良好和节点级表示。

在本文中，我们提出了一种基于排名的水下图像质量评估（UIQA）方法，该方法缩写为Uranker。乌兰克（Uranker）建立在高效的注意力图像变压器上。在水下图像方面，我们特别设计（1）直方图嵌入了水下图像作为直方图表的颜色分布以参加全局降解，以及（2）与模型局部降解的动态跨尺度对应关系。最终预测取决于不同量表的类代币，该标记是全面考虑多尺度依赖性的。随着保证金排名损失，我们的乌员可以根据其视觉质量通过不同的水下图像增强（UIE）算法来准确对同一场景的水下图像的顺序进行排名。为此，我们还贡献了一个数据集，即Urankerset，其中包含不同的UIE算法和相应的感知排名增强的足够结果，以训练我们的uranker。除了Uranker的良好表现外，我们发现一个简单的U-Shape UIE网络与我们的预训练的Uranker相结合时可以获得有希望的性能。此外，我们还提出了一个标准化尾巴，可以显着提高UIE网络的性能。广泛的实验证明了我们方法的最新性能。讨论了我们方法的关键设计。我们将发布我们的数据集和代码。

半监督学习（SSL）通过利用大量未标记数据来增强有限标记的样品来改善模型的概括。但是，目前，流行的SSL评估协议通常受到计算机视觉（CV）任务的约束。此外，以前的工作通常从头开始训练深层神经网络，这是耗时且环境不友好的。为了解决上述问题，我们通过从简历，自然语言处理（NLP）和音频处理（AUDIO）中选择15种不同，具有挑战性和全面的任务来构建统一的SSL基准（USB），我们会系统地评估主导的SSL方法，以及开源的一个模块化和可扩展的代码库，以对这些SSL方法进行公平评估。我们进一步为简历任务提供了最新的神经模型的预训练版本，以使成本负担得起，以进行进一步调整。 USB启用对来自多个域的更多任务的单个SSL算法的评估，但成本较低。具体而言，在单个NVIDIA V100上，仅需要37个GPU天才能在USB中评估15个任务的FIXMATCH，而335 GPU天（除ImageNet以外的4个CV数据集中的279 GPU天）在使用典型协议的5个CV任务上需要进行5个CV任务。

与常规知识蒸馏（KD）不同，自我KD允许网络在没有额外网络的任何指导的情况下向自身学习知识。本文提议从图像混合物（Mixskd）执行自我KD，将这两种技术集成到统一的框架中。 Mixskd相互蒸馏以图形和概率分布在随机的原始图像和它们的混合图像之间以有意义的方式。因此，它通过对混合图像进行监督信号进行建模来指导网络学习跨图像知识。此外，我们通过汇总多阶段功能图来构建一个自学老师网络，以提供软标签以监督骨干分类器，从而进一步提高自我增强的功效。图像分类和转移学习到对象检测和语义分割的实验表明，混合物KD优于其他最先进的自我KD和数据增强方法。该代码可在https://github.com/winycg/self-kd-lib上找到。

变压器的扎实结果使它们在各种自然语言和视觉任务中占上风。作为变压器中的默认组件，层归一化（LN）将每个令牌内的激活归一化，以增强稳健性。但是，LN需要在推理以及除法和平方根操作中进行直接统计计算，从而导致硬件效率低下。更重要的是，用其他硬件有效的标准化方案（例如，批发归一化）代替LN会导致性能较低，甚至在训练中崩溃。我们发现，这种困境是由激活统计的异常行为引起的，包括对迭代的大波动和跨层的极端异常值。为了解决这些问题，我们提出了统一的归一化（UN），可以通过与其他线性操作融合并在LN上实现可比性的性能来加快推断。联合国通过量身定制的波动平滑策略校准激活和梯度统计来努力提高性能。同时，采用自适应离群过滤策略来避免在本文中在理论上证明并在实验上验证的训练中崩溃。我们证明，通过对语言和视觉任务进行广泛的实验，联合国可以成为LN的有效替代品。此外，我们评估了我们方法在GPU上的效率。配备了联合国的变压器享受约31％的推理速度和近18％的记忆力减少。代码将在https://github.com/hikvision-research/unified-normalization上发布。

在源代码处理的领域中，基于变压器的表示模型表现出强大的功能，并在许多任务中都实现了最先进的（SOTA）性能。尽管变压器模型处理了顺序源代码，但证据表明，它们也可以捕获结构信息（\ eg，在语法树，数据流，控制流，\等）。我们提出了汇总的注意力评分，这是一种研究变压器学到的结构信息的方法。我们还提出了汇总的注意图，这是一种从预训练模型中提取程序图的新方法。我们从多个角度测量我们的方法。此外，根据我们的经验发现，我们使用自动提取的图形来替换可变滥用任务中那些巧妙的手动设计图。实验结果表明，我们自动提取的语义图非常有意义且有效，这为我们提供了一个新的观点，可以理解和使用模型中包含的信息。